|
2021年1月15日注:以下部份中为了方便将Transformer翻译为变压器 Attention Is All You Need 变压器基本上是一种机器学习模型,它是一种神经网络的体系结构,变压器模型体系结构的变体,如BERT, GPT-2, GPT3等,用于建立在变压器模型之上的几个任务。 在论文Attention Is All You Need中,使用一个编码器-解码器的机器翻译结构对变压器
2024年8月17日T5模型的架构与原始Transformer论文中使用的编码器-解码器架构非常相似,如下图所示。主要区别在于T5模型是在大规模(包括大约750G的数据量)的文本语料库 (Colossal Clean Crawled Corpus,C4) 上进行训练,而原始Transformer论文仅专注于语言翻译,因此只使用了1.4GB的英汉对应文本对进行训练。 在上图中,可以看到通过堆叠Tr...
2020年9月25日字幕组双语原文：【精读】Transformer模型深度解读 英语原文：The Annotated Transformer 翻译：雷锋字幕组（Icarus、）在过去的一年里，《注意力就是你所需要的》中的Transformer被很多人所关注。除了在翻译质量上产生重大改进外，它还为许多其他NLP任务提供了一个新的架构。这篇论文本身写得非常清楚，但传统的观点是，...
2025年5月2日传统的RNN(循环神经网络)在处理长文本时效率较低,而Transformer模型通过并行处理和注意力机制,可以更高效地处理长文本。 其次,更好的表现。 Transformer模型在很多NLP任务中表现优异,比如机器翻译、文本摘要和问答系统等。它不仅速度快,而且准确率高。 总的来说,Transformer模型通过其独特的注意力机制和结构设计,使得它...
2021年4月10日深度学习模型的架构总是类似的,如下图1所示。词向量(tokens, 或words,或characters)表示成一个one-hot vector,被Embedding Layer建到连续空间中。紧接着被语言模型处理(图中是Transformer-XL),再map回一个vector (这个vector的维度与词向量的维度相等)以继续进行下面的任务。
2025年4月22日1、transformer架构: Transformer是一种深度学习模型,这种模型在自然语言处理(NLP)领域特别流行,它引入了一种新的机制——自注意力(self-attention),使得模型能够更加高效和有效地处理序列数据(序列数据可以简单的理解为我们说的一句语意连贯的话)。 Transformer完全基于注意力机制,没有使用循环神经网络(RNN)或卷积神经网...
2022年9月16日2.位置编码详细解读 P2 - 04:14 TRM和RNN处理时序区别 注意力机制增快了速度,但是忽略了顺序关系 2.位置编码详细解读 P2 - 05:07 位置编码公式 相加得到最终的512维度作为TRM输入 2.位置编码详细解读 P2 - 06:46 引申 为什么位置嵌入有用? 3.多头注意力机制详解 P3 - 00:17 基本的注意力机制 ...
2023年10月19日Transformer的结构图,拆解开来,主要分为图上4个部分,其中最重要的就是2和3Encoder-Decoder部分,对咯,Transformer是一个基于Encoder-Decoder框架的模型。 接下来我将按照1,2,3,4的顺序逐步介绍上图中Transformer的网络结构,这样既能够弄清楚结构原理,又能够方便理解Transformer模型的工作流程...
